Definition Was ist In-Context Learning?

In-Context Learning beschreibt die Fähigkeit von großen Sprachmodellen, während der Interaktion mit dem Anwender zu lernen. Dem KI-Modell wird beim Prompting Kontext zur Verfügung gestellt, aus dem es ohne zusätzliches Training oder Fine-Tuning neue oder spezifische Aufgabenstellungen zu lösen lernt.

In-Context Learning, abgekürzt (ICL), ist ein Begriff, der im Umfeld großer Sprachmodelle (Large Language Models – LLMs) und Künstlicher Intelligenz (KI) verwendet wird. Er beschreibt die Fähigkeit von großen Modellen, aus dem während der Interaktion mit dem Anwender bereitgestellten Kontext temporär zu lernen und dadurch neue oder sehr spezifische Aufgabenstellungen zu lösen. Das Sprachmodell passt sich in gewisser Weise selbstständig dem bereitgestellten Kontext an und generiert darauf basierenden Content. Als Kontext werden dem Sprachmodell zum Beispiel detaillierte Aufgabenbeschreibungen oder Lösungs- beziehungsweise Ein-/Ausgabebeispiele genannt.

Die Fähigkeit zum In-Context-Lernen hat sich erst mit großen Sprachmodellen und entsprechend großen Kontextfenstern wie beispielsweise den Modellen aus der GPT-Familie entwickelt. In-Context Learning ist eine temporäre Fähigkeit. Anders als beim Training oder Fine-Tuning eines Sprachmodells werden beim In-Context Learning die Parameter oder grundsätzlichen Gewichtungen des Models nicht aktualisiert. Das Modell vergisst quasi das Erlernte nach dem Prompting wieder.

Mithilfe des In-Context-Lernens können vortrainierte Sprachmodelle Aufgaben lösen oder Fragestellungen beantworten, ohne speziell für diese trainiert oder feinabgestimmt worden zu sein. Durch geeignete Prompts lassen sich die Modelle so steuern, dass sie die gewünschten Ergebnisse für konkrete Aufgabenstellungen generieren. Die Modelle verwenden ihr bereits im Training erworbenes Wissen an und passen sich durch die Verarbeitung des bereitgestellten Kontexts an neue Aufgaben an. Das Erstellen von für In-Context Learning geeigneten Eingabeaufforderung mit entsprechendem Kontext lässt sich dem Fachgebiet des Prompt-Engineerings oder Prompt-Designs zuordnen.

Wie funktioniert In-Context Learning?

Die genauen Mechanismen hinter dem In-Context Learning sind nach wie vor Gegenstand der KI-Forschung. Das Grundkonzept von In-Context Learning basiert auf dem Lernen aus Analogien. Indem dem vortrainierten Sprachmodell beim Prompting und während der Interaktion mit dem Anwender einige Input-/Output-Beispiele präsentiert werden, kann es diese für die Erstellung seiner Vorhersagen miteinbeziehen.

Etwas vereinfacht dargestellt, generieren die Sprachmodelle die gewünschten Lösungen, indem sie ihr bereits im Training erworbenes Wissen und die aus dem bereitgestellten Kontext abgeleiteten Analogien kombinieren. Im Gegensatz zum Training oder zur Feinabstimmung verändert das In-Context Learning aber keine Parameter oder grundsätzlichen Gewichtungen des Modells. Der Lernvorgang findet während des Inferenzprozesses statt. Das Gelernte ist temporär und bezieht sich im Rahmen des in einer Interaktion bereitgestellten Kontexts immer nur auf eine spezifische Aufgabenstellung. Nach einer abgeschlossenen Konversation ist das Gelernte wieder vergessen. Der Lernprozess ist nicht von Dauer, weshalb dem Modell für ähnliche Aufgabenstellungen geeigneter Kontext beim Prompting immer wieder neu präsentiert werden muss. Die Fähigkeit zum In-Context-Lernen ist von der Anzahl der Parameter und der Größe des Kontextfensters eines Modells abhängig.

Verschiedene ICL-Ansätze

Für das In-Context Learning existieren verschiedene Ansätze mit jeweils spezifischen Vor- und Nachteilen. Die Ansätze variieren zum Beispiel in der Anzahl der dem Sprachmodell zum Verständnis der Aufgabenstellung präsentierten Beispiele oder Input-/Output-Paare. Je nach Ansatz werden im Kontext der Aufgabenstellung mehrere (Few-Shot Learning), nur eines (One-Shot Learning) oder gar kein Beispiel (Zero-Shot Learning) genannt. Die genannten Beispiele können sowohl Negativ- als auch Positivbeispiele sein. Um einem Sprachmodell In-Context Learning ohne das Nennen eines Beispiels zu ermöglichen, müssen die Aufgabenstellung und Lösungsschritte möglichst detailliert beschrieben werden. Bei allen ICL-Ansätzen ist zu beachten, dass das vom Modell unterstützte Kontextfenster nicht überschritten werden darf.

Ein weiterer Ansatz des In-Context-Lernens kombiniert die Prompting-Methode der sogenannten Chain-of-Thought (CoT – deutsch: Gedankenkette) mit der Nennung von Beispiellösungen. Anstatt lediglich Beispiele und ihre Lösungen im Kontext der Aufgabenstellung aufzuführen, beinhaltet der Kontext bei Anwendung von CoT auch die verschiedenen Zwischenschritte, die zur letztendlichen Lösung der genannten Beispielaufgabe geführt haben.

Einsatzmöglichkeiten von In-Context Learning

In-Context Learning kann in vielen verschiedenen Bereichen zum Einsatz kommen. So lassen sich vortrainierte Standardsprachmodelle für verschiedene benutzerdefinierte Aufgabenstellungen einsetzen, für die sie nicht spezifisch trainiert oder feinabgestimmt wurden. Typische Beispiele sind das Beantworten fachspezifischer Fragen, das Übersetzen von Fachtexten, das Lösen von spezifischen Programmierproblemen oder die Diagnostik im medizinischen Bereich.

Ein weiteres Beispiel für einen möglichen Einsatzbereich ist die Sentiment-Analyse. Sie analysiert die Grundstimmung eines Textes. Indem dem Textmodell einige Beispielsätze mit jeweils positiver oder negativer Stimmung präsentiert werden, kann es dank In-Context Learning die Stimmung bisher nicht gesehener Sätze besser analysieren.

Vor- und Nachteile durch In-Context Learning

In-Context Learning bietet zahlreiche Vorteile. Zu diesen zählen:

• verbessert die Leistung eines vortrainierten Sprachmodells ohne zusätzliches Training oder Fine-Tuning

• liefert bessere und genauere Vorhersagen, Antworten oder Ergebnisse

• ermöglicht den Einsatz von Standardsprachmodellen für neue oder komplexe Aufgaben

• ermöglicht eine schnelle Anpassung vorhandener Sprachmodelle an spezifische Aufgabenstellungen

• verbessert die Flexibilität und die Einsatzmöglichkeiten von LLMs

Als Nachteile oder Herausforderungen des In-Context-Lernens lassen sich nennen:

• das Erlernte ist nicht von Dauer

• In-Context Learning erfordert Sprachmodelle mit vielen Parametern und großem Kontextfenster

• erfordert ein ausgefeiltes Prompting und geeignete Beispieldatensätze

• ICL ist nicht für alle Anwendungsfälle geeignet; trotz ICL kann unter Umständen Fine-Tuning oder erneutes Training erforderlich sein

• die Bereitstellung von spezifischem Kontext mit sensiblen Informationen kann mit Risiken für Sicherheits- oder Datenschutzverletzungen verbunden sein

• ICL führt zu höherem Ressourcenverbrauch des Modells, da für jede Vorhersage umfangreiche Informationen und Beispiele verarbeitet werden müssen

(ID:50182826)